联合学习是一种分布式学习的形式,具有关键挑战,是参与客户端中数据的非相同分布性质。在本文中,我们将联合学习扩展到多个无相关模型同时培训的设置。具体而言,每个客户端都能够一次训练M个模型中的任何一个,并且服务器维护每个M模型的模型,其通常是由客户端计算的模型的适当平均版本。我们提出了多次将学习任务分配给客户的多项政策。在第一个政策中,我们将广泛研究的FASHVG通过将模型分配给I.I.D中的客户来扩展到多模型学习。随机的方式。此外,我们在多模型联合设置中提出了两个新的客户选择策略,这是基于每个客户模型对的当前本地损失的决策。我们比较涉及合成和现实世界数据的任务的政策的表现,并表征拟议的政策的表现。远离我们的工作的关键是,所提出的多模型政策更好地表现出更好或至少与使用FEDAVG的单一模型培训一样好。
translated by 谷歌翻译